The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.
translated by 谷歌翻译
单细胞RNA-seq数据集的大小和复杂性正在增长,从而可以研究各种生物/临床环境中的细胞组成变化。可扩展的降低性降低技术需要消除它们的生物学变异,同时考虑技术和生物混杂因素。在这项工作中,我们扩展了一种流行的概率非线性维度降低的方法,即高斯过程潜在变量模型,以扩展到大量的单细胞数据集,同时明确考虑技术和生物混杂因素。关键思想是使用增强的内核,该内核可以保留下限的可分式性,从而允许快速随机变化推断。我们证明了其在Kumasaka等人中重建先天免疫的潜在潜在签名的能力。 (2021)训练时间较低9倍。我们进一步分析了一个共同数据集并在130个人群中证明了该框架,该框架可以在捕获可解释的感染签名的同时进行数据集成。具体而言,我们探讨了互联的严重程度,作为优化患者分层并捕获疾病特异性基因表达的潜在维度。
translated by 谷歌翻译
上印度河盆地喜马拉雅山为2.7亿人和无数的生态系统提供水。然而,在这一领域,降水是水文建模的关键组成部分。围绕这种不确定性的关键挑战来自整个盆地降水的复杂时空分布。在这项工作中,我们提出了具有结构化非平稳核的高斯过程,以模拟UIB中的降水模式。先前试图在印度库什karakoram喜马拉雅地区量化或建模降水的尝试通常是定性的,或者包括在较低分辨率下无法解决的粗略假设和简化。这项研究也几乎没有错误传播。我们用非平稳的Gibbs内核参数为输入依赖性长度尺度来解释降水的空间变化。这允许后函数样品适应印度河地区不同基础地形所固有的不同降水模式。输入依赖的长度尺寸由带有固定平方 - 指数内核的潜在高斯过程控制,以使功能级别的超参数平稳变化。在消融实验中,我们通过证明其对空间协方差,时间结构和关节时空重建的能力来激励所提出的内核的每个组成部分。我们通过固定的高斯工艺和深度高斯工艺进行基准测试模型。
translated by 谷歌翻译
内核选择在确定高斯过程(GP)模型中的性能方面发挥着核心作用,因为所选择的内核在之前的GP下确定了电感偏差和在GP下的功能的先前支持。这项工作解决了为高维GP回归模型构建自定义内核功能的挑战。从最近的深度学习进步中汲取灵感,我们介绍了一个名为Kitt的新方法:通过变压器识别内核识别。 KITT利用基于变压器的架构,以在0.1秒内生成内核建议,这比传统的内核搜索算法快几个数量级。我们使用从已知内核的词汇表中从前线生成的合成数据训练我们的模型。通过利用自我关注机制的性质,KITT能够处理具有任意尺寸的输入的数据集。我们证明,KITT选择的内核会在各种回归基准集合中产生强烈的表现。
translated by 谷歌翻译
高斯工艺(GPS)模型是具有由内核功能控制的电感偏差的功能丰富的分布。通过使用边际似然作为目标优化内核超参数来实现学习。这种称为II类型最大似然(ML-II)的经典方法产生了高参数的点估计,并继续成为培训GPS的默认方法。然而,这种方法在低估预测不确定性并且易于在有许多近似数目时易于过度拟合。此外,基于梯度的优化使ML-II点估计高度易受局部最小值的存在。这项工作提出了一种替代的学习过程,其中核心函数的超参数使用嵌套采样(NS)被边缘化,这是一种非常适合于复杂的多模态分布来采样的技术。我们专注于具有频谱混合物(SM)粒子的回归任务,并发现定量模型不确定性的原则方法导致在一系列合成和基准数据集中的预测性能中的大量收益。在这种情况下,还发现嵌套的抽样在汉密尔顿蒙特卡罗(HMC)上提供了速度优势,广泛认为是基于MCMC推断的金标准。
translated by 谷歌翻译
To train deep learning models, which often outperform traditional approaches, large datasets of a specified medium, e.g., images, are used in numerous areas. However, for light field-specific machine learning tasks, there is a lack of such available datasets. Therefore, we create our own light field datasets, which have great potential for a variety of applications due to the abundance of information in light fields compared to singular images. Using the Unity and C# frameworks, we develop a novel approach for generating large, scalable, and reproducible light field datasets based on customizable hardware configurations to accelerate light field deep learning research.
translated by 谷歌翻译
每个房屋都是不同的,每个人都喜欢以特殊方式完成的事情。因此,未来的家庭机器人需要既需要理由就日常任务的顺序性质,又要推广到用户的偏好。为此,我们提出了一个变压器任务计划者(TTP),该计划通过利用基于对象属性的表示来从演示中学习高级动作。TTP可以在多个偏好上进行预训练,并显示了使用单个演示作为模拟洗碗机加载任务中的提示的概括性的概括。此外,我们使用TTP与Franka Panda机器人臂一起展示了现实世界中的重排,并使用单一的人类示范引起了这种情况。
translated by 谷歌翻译
我们在信息理论安全保证下为高斯窃听通道设计了简短的区块长度代码。我们的方法在于将代码设计中的可靠性和保密性限制解耦。具体而言,我们通过自动编码器处理可靠性约束,并处理具有哈希功能的保密约束。对于小于或等于16的区块长度,我们通过模拟合法接收器的错误概率以及我们的代码构建中的窃听器的泄漏进行评估。这种泄漏被定义为机密信息和窃听通道观察之间的共同信息,并通过基于神经网络的共同信息估计器进行经验测量。我们的仿真结果提供了具有正面保密率的代码的示例,这些代码优于高斯窃听通道的非结构性可获得的最知名的保密率。此外,我们表明我们的代码设计适用于化合物和任意变化的高斯窃听通道,为此,通道统计信息不是完全知道的,但仅属于预先指定的不确定性集。这些模型不仅捕获了与渠道统计估计有关的不确定性,而且还捕获了窃听器堵塞合法传输或通过更改其位置来影响其自身渠道统计的场景。
translated by 谷歌翻译